📘 RoCE 实战
部署 · 调优 · 30章
⚡
RDMA over Converged Ethernet
1
RoCE概述
背景
RDMA技术背景 · 协议栈 · v1/v2对比 · 应用场景
2
硬件选型
Mellanox/Chelsio/Broadcom · PFC/ECN交换机 · 线缆光模块
3
操作系统准备
内核版本 · MLNX_OFED · 固件升级 · NUMA绑定/CPU隔离
4
网络基础配置
IP分配 · MTU 9000 · VLAN · 路由配置
5
DCQCN配置
ECN标记/CNP · QoS队列 · α,β,g,Kmin/Kmax
6
PFC配置
优先级流控制 · 死锁预防 · watchdog · buffer预留
7
拥塞控制算法对比
DCQCN vs TIMELY vs DCTCP vs HPCC
8
RDMA CM与Verbs编程
RC/UC/UD · 内存注册 · MR/PD · CQ管理
9
性能基准测试
perftest · ib_write_bw/ib_read_lat · 延迟带宽方法
10
多路径与负载均衡
MPTCP+RoCE · ECMP哈希 · 自适应路由(AR)
11
存储场景调优
NVMe-oF · SPDK+RoCE · IOPS优化
12
AI/ML场景调优
AllReduce/AllGather · GDR · NCCL+RoCE
13
容器化部署
Docker设备映射 · K8s SR-IOV CNI · Macvlan/IPoIB
14
监控与诊断
ethtool · mlxstat/mlxreg · Wireshark抓RoCE
15
常见问题排查
丢包定位 · PFC风暴 · ECN未生效 · 连接超时
16
安全加固
RoCE加密(IPsec) · 信任域隔离 · MACsec
17
大规模集群部署
Fabric管理(UFM) · Ansible自动化 · 滚动升级
18
RoCE over WAN
长距离挑战 · FEC · TCP友好性
19
RoCE与iWARP对比
协议差异 · 性能对比 · 生态支持
20
RoCE与InfiniBand对比
架构差异 · 成本分析 · 迁移路径
21
RoCE v2扩展
多跳场景 · L3路由 · VXLAN封装
22
QoS策略设计
流量分类 · 限速(shaping) · 优先级映射
23
Buffer管理
动态buffer · headroom · lossless模式
24
时间同步
PTP(IEEE 1588) · gPTP · 时间戳精度
25
虚拟化支持
VMware vSphere RoCE · KVM PCIe直通 · SR-IOV
26
RoCE与存储协议
iSER · SRP · NVMe-oF TCP对比
27
RoCE与大数据
Spark Shuffle · HDFS over RoCE · Kafka低延迟
28
RoCE与数据库
MySQL/PostgreSQL远程直访 · Redis over RoCE
29
故障恢复与高可用
链路聚合(LAG) · BFD · Graceful shutdown
30
未来趋势
400G/800G RoCE · CXL融合 · SONiC支持